监督学习的关键假设是培训和测试数据遵循相同的概率分布。然而,这种基本假设在实践中并不总是满足,例如,由于不断变化的环境,样本选择偏差,隐私问题或高标签成本。转移学习(TL)放松这种假设,并允许我们在分销班次下学习。通常依赖于重要性加权的经典TL方法 - 基于根据重要性(即测试过度训练密度比率)的训练损失培训预测器。然而,由于现实世界机器学习任务变得越来越复杂,高维和动态,探讨了新的新方法,以应对这些挑战最近。在本文中,在介绍基于重要性加权的TL基础之后,我们根据关节和动态重要预测估计审查最近的进步。此外,我们介绍一种因果机制转移方法,该方法包含T1中的因果结构。最后,我们讨论了TL研究的未来观点。
translated by 谷歌翻译
We propose a light-weight and highly efficient Joint Detection and Tracking pipeline for the task of Multi-Object Tracking using a fully-transformer architecture. It is a modified version of TransTrack, which overcomes the computational bottleneck associated with its design, and at the same time, achieves state-of-the-art MOTA score of 73.20%. The model design is driven by a transformer based backbone instead of CNN, which is highly scalable with the input resolution. We also propose a drop-in replacement for Feed Forward Network of transformer encoder layer, by using Butterfly Transform Operation to perform channel fusion and depth-wise convolution to learn spatial context within the feature maps, otherwise missing within the attention maps of the transformer. As a result of our modifications, we reduce the overall model size of TransTrack by 58.73% and the complexity by 78.72%. Therefore, we expect our design to provide novel perspectives for architecture optimization in future research related to multi-object tracking.
translated by 谷歌翻译
在一系列软物质系统中广泛观察到玻璃过渡。但是,尽管有多年的研究,这些转变的物理机制仍然未知。特别是,一个重要的未解决的问题是玻璃转变是否伴随着特征静态结构的相关长度的分歧。最近,提出了一种可以从纯精度的纯静态信息中预测长期动态的方法。但是,即使是这种方法也不通用,并且对于KOB(Andersen系统)而言,这是典型的玻璃形成液体模型。在这项研究中,我们开发了一种使用机器学习或尤其是卷积神经网络提取眼镜的特征结构的方法。特别是,我们通过量化网络做出的决策的理由来提取特征结构。我们考虑了两个质量不同的玻璃形成二进制系统,并通过与几个既定结构指标进行比较,我们证明我们的系统可以识别依赖于系统细节的特征结构。令人惊讶的是,提取的结构与热波动中的非平衡衰老动力学密切相关。
translated by 谷歌翻译
Vision Transformer(VIT)在图像处理中变得越来越流行。具体而言,我们研究了测试时间适应(TTA)对VIT的有效性,VIT是一种已经出现的技术,可以自行纠正其在测试时间期间的预测。首先,我们在VIT-B16和VIT-L16上基准了各种测试时间适应方法。结果表明,使用适当的损耗函数时,TTA对VIT有效,并且先前的投入(明智地选择调制参数)是不需要的。基于观察结果,我们提出了一种称为类条件特征对齐(CFA)的新的测试时间适应方法,该方法将类别条件分布的差异和在线源中隐藏表示的整个分布差异最小化,在线中的整个分布差异方式。图像分类任务(CIFAR-10-C,CIFAR-100-C和Imagenet-C)和域适应性(Digits DataSet和Imagenet-Sketch)的实验表明,CFA稳定地超过了各种数据集中的现有基础。我们还通过在RESNET,MLP混合和几种VIT变体(Vit-augreg,Deit和Beit)上实验来验证CFA是模型不可知论。使用BEIT主链,CFA在Imagenet-C上达到了19.8%的TOP-1错误率,表现优于现有的测试时间适应基线44.0%。这是不需要改变训练阶段的TTA方法中的最新结果。
translated by 谷歌翻译
步态计划是一种通常应用于地面机器人的过程,例如四足机器人; Tilt-Rotor是一种新型的四型四个输入,不是其中之一。在控制倾斜 - 依赖反馈线性化的倾斜旋转时,预计倾斜角度(输入)将过度改变,这在应用程序中可能不会预期。为了帮助抑制倾斜角度的密集变化,在反馈线性化之前,将步态计划程序引入倾斜度。用户提前时间指定倾斜角度,而不是由控制规则给出。但是,基于这种情况,反馈线性化中的去耦矩阵对于某些态度,滚动角度和螺距角的组合可能是单数的。它阻碍了反馈线性化的进一步应用。因此,建立了两个彩色图定理,以最大程度地提高可接受的态度区域,在该区域中,滚动和音高的组合将产生可逆的去耦矩阵。然而,该定理过度限制了倾斜角度的选择,这可以排除一些可行的健壮步态。本文给出了广义的两个彩色图定理。所有健壮的步态都可以根据这种广义定理找到。分析了满足该广义的两个彩色图定理(违反两个彩色图定理)的三个步态的鲁棒性。结果表明,概括的两个颜色图定理完成了对倾斜旋转的稳健步态的搜索。
translated by 谷歌翻译
这项工作与发现物理系统的偏微分方程(PDE)有关。现有方法证明了有限观察结果的PDE识别,但未能保持令人满意的噪声性能,部分原因是由于次优估计衍生物并发现了PDE系数。我们通过引入噪音吸引物理学的机器学习(NPIML)框架来解决问题,以在任意分布后从数据中发现管理PDE。我们的建议是双重的。首先,我们提出了几个神经网络,即求解器和预选者,这些神经网络对隐藏的物理约束产生了可解释的神经表示。在经过联合训练之后,求解器网络将近似潜在的候选物,例如部分衍生物,然后将其馈送到稀疏的回归算法中,该算法最初公布了最有可能的PERSIMISIAL PDE,根据信息标准决定。其次,我们提出了基于离散的傅立叶变换(DFT)的Denoising物理信息信息网络(DPINNS),以提供一组最佳的鉴定PDE系数,以符合降低降噪变量。 Denoising Pinns的结构被划分为前沿投影网络和PINN,以前学到的求解器初始化。我们对五个规范PDE的广泛实验确认,该拟议框架为PDE发现提供了一种可靠,可解释的方法,适用于广泛的系统,可能会因噪声而复杂。
translated by 谷歌翻译
汇总数据通常出现在社会经济和公共安全等各个领域。汇总数据与点不关联,而与支持(例如,城市中的空间区域)相关联。由于支撑物可能取决于属性(例如贫困率和犯罪率),因此对此类数据进行建模并不直接。本文提供了一个多输出高斯流程(MOGP)模型,该模型使用各自粒度的多个聚合数据集侵入属性的功能。在提出的模型中,每个属性的函数被认为是建模为独立潜在GPS的线性混合的依赖GP。我们设计一个具有每个属性聚合过程的观察模型;该过程是GP在相应支持上的组成部分。我们还引入了混合权重的先验分布,该分布可以通过共享先验来跨域(例如城市)进行知识转移。在这种情况下,这是有利的,因为城市中的空间汇总数据集太粗糙而无法插值。提出的模型仍然可以通过利用其他城市中的聚合数据集来准确地预测属性。提出的模型的推断是基于变异贝叶的,它使人们能够使用来自多个域的聚合数据集学习模型参数。该实验表明,所提出的模型在改善现实世界数据集上的粗粒骨料数据的任务中胜过:北京的空气污染物的时间序列以及来自纽约市和芝加哥的各种空间数据集。
translated by 谷歌翻译
Rylls Tilt-Rotor是无人机,有八个输入;可以根据控制规则指定推力的四个大小以及推力的四个倾斜角。尽管取得了模拟的成功,但常规反馈线性化证明了投入的过度变化,同时适用于稳定Rylls倾斜旋转。因此,我们以前的研究将额外的步态计划提交了额外的程序,以抑制倾斜角度的意外变化。伴随两个颜色地图定理,倾斜角度是坚定而连续的。设计的步态对态度的改变是可靠的。但是,在进一步应用跟踪模拟测试之前,这不是一个完整的理论。本文进一步讨论了两个颜色图定理之后的一些步态,并模拟了倾斜旋转的跟踪问题。均匀的圆形移动参考设计为由配备了设计健壮步态和反馈线性化控制器的倾斜旋转器跟踪。满足两个彩色图定理的步态显示了鲁棒性。模拟的结果显示了跟踪倾斜旋转的成功。
translated by 谷歌翻译
预处理的大语言模型(LLM)广泛用于自然语言处理(NLP)的许多子场,通常被称为具有特定任务示例的优秀少数学习者。值得注意的是,思想链(COT)提示,这是一种通过分步答案示例引发复杂的多步推理的技术,在算术和符号推理中实现了最新的表演,难以置信的System-2任务不遵循LLMS的标准缩放定律。尽管这些成功通常归因于LLM的几次学习能力,但我们表明,LLM是通过在每个答案之前简单地添加“让我们逐步思考”而成为不错的零射击推理者。实验结果表明,使用相同的单个提示模板,我们的零射击功能明显优于零摄像机LLM在不同的基准推理任务上的零摄像机表现,包括算术(Multiarith,GSM8K,Aqua-Rat,SVAMP,SVAMP),符号推理(最后一个字母,字母,字母,字母,,,,,字母,字母)(最后一个字母),硬币翻转)和其他逻辑推理任务(日期理解,跟踪洗牌对象),而没有任何手工制作的几个示例,例如通过175B参数指令gpt模型将Multiarith的准确性从17.7%提高到78.7%,GSM8K从10.4%提高到40.7%,以及另一种现成的大型模型,540B参数Palm Palm的相似改进。在非常多样化的推理任务中,这个单一提示的多功能性暗示了LLM的尚未开发和研究的基本零拍功能,这表明可以通过简单提示来提取高级,多任务的广泛认知能力。我们希望我们的工作不仅可以作为具有挑战性的推理基准的最小零击基线,而且还强调了仔细探索和分析LLM中隐藏在LLM中的巨大的零拍知识的重要性,然后在制作Finetunning数据集或少数拍摄的典范之前。
translated by 谷歌翻译
人口动态是对生物种群大小的时间和空间变化的研究,是人口生态学的主要部分。分析人口动态的主要困难之一是,由于实验成本或测量限制,我们只能从固定点观察值中获得粗略的时间间隔的观察数据。最近,已经提出,通过使用连续归一化流(CNF)和动态最佳运输来对种群动力学进行建模,以从观察到的人群中推断样品轨迹。尽管CNF中的样本行为是确定性的,但生物系统中的实际样本以本质上随机但方向性的方式移动。此外,当样本从点A中的点移动到动力学系统中B点B时,其轨迹通常遵循最小动作的原理,在该原理中,相应的动作具有最小的可能值。为了满足样品轨迹的这些要求,我们制定了Lagrangian Schr \“ Odinger Bridge(LSB)问题,并提议将其近似于使用神经SDE和正则化解决。我们还开发了一个模型体系结构,可以更快地计算。实验结果表明,该结果表明,该模型表明,提出的方法即使对于高维数据也可以有效地近似人口级动力学,并且使用拉格朗日引入的先验知识使我们能够估算具有随机行为的单个样本的轨迹。
translated by 谷歌翻译